众所周知，现代神经网络容易受到对抗例子的影响。为了减轻这个问题，已经提出了一系列强大的学习算法。但是，尽管通过某些方法可以通过某些方法接近稳定的训练误差，但所有现有的算法都会导致较高的鲁棒概括误差。在本文中，我们从深层神经网络的表达能力的角度提供了对这种令人困惑的现象的理论理解。具体而言，对于二进制分类数据，我们表明，对于Relu网络，虽然轻度的过度参数足以满足较高的鲁棒训练精度，但存在持续的稳健概括差距，除非神经网络的大小是指数的，却是指数的。数据维度$ d $。即使数据是线性可分离的，这意味着要实现低清洁概括错误很容易，我们仍然可以证明$ \ exp（{\ omega}（d））$下限可用于鲁棒概括。通常，只要它们的VC维度最多是参数数量，我们的指数下限也适用于各种神经网络家族和其他功能类别。此外，我们为网络大小建立了$ \ exp（{\ mathcal {o}}（k））$的改进的上限，当数据放在具有内在尺寸$ k $的歧管上时，以实现低鲁棒的概括错误（$） k \ ll d $）。尽管如此，我们也有一个下限，相对于$ k $成倍增长 - 维度的诅咒是不可避免的。通过证明网络大小之间的指数分离以实现较低的鲁棒训练和泛化错误，我们的结果表明，鲁棒概括的硬度可能源于实用模型的表现力。

准确的车辆轨迹预测对于可靠的自动驾驶至关重要。为了保持一致的性能作为围绕不同城市的车辆，适应不断变化的交通环境并实现终身轨迹预测模型至关重要。为了实现它，灾难性的遗忘是要解决的主要问题。本文首先提出了一种基于条件Kullback-Leibler发散的分歧测量方法，以评估不同驾驶环境中的时空依赖差异。然后基于生成重播，开发了一种新颖的终身车辆轨迹预测框架。该框架包括条件生成模型和车辆轨迹预测模型。条件生成模型是一种在车辆的位置配置上的生成对抗性网络。在学习和合并不同城市车辆的轨迹分布之后，代表模型将轨迹重放了以前的采样作为输入，减轻了灾难性的遗忘。车辆轨迹预测模型由重放的轨迹训练，并在访问的城市实现一致的预测性能。终身实验设置是在四个开放数据集中建立，包括五个任务。为不同的任务计算了时尚依赖性发散。即使这些分歧，所提出的框架也表现出终身学习能力，并在所有任务中实现一致的性能。

This paper concerns with statistical estimation and inference for the ranking problems based on pairwise comparisons with additional covariate information such as the attributes of the compared items. Despite extensive studies, few prior literatures investigate this problem under the more realistic setting where covariate information exists. To tackle this issue, we propose a novel model, Covariate-Assisted Ranking Estimation (CARE) model, that extends the well-known Bradley-Terry-Luce (BTL) model, by incorporating the covariate information. Specifically, instead of assuming every compared item has a fixed latent score $\{\theta_i^*\}_{i=1}^n$, we assume the underlying scores are given by $\{\alpha_i^*+{x}_i^\top\beta^*\}_{i=1}^n$, where $\alpha_i^*$ and ${x}_i^\top\beta^*$ represent latent baseline and covariate score of the $i$-th item, respectively. We impose natural identifiability conditions and derive the $\ell_{\infty}$- and $\ell_2$-optimal rates for the maximum likelihood estimator of $\{\alpha_i^*\}_{i=1}^{n}$ and $\beta^*$ under a sparse comparison graph, using a novel `leave-one-out' technique (Chen et al., 2019) . To conduct statistical inferences, we further derive asymptotic distributions for the MLE of $\{\alpha_i^*\}_{i=1}^n$ and $\beta^*$ with minimal sample complexity. This allows us to answer the question whether some covariates have any explanation power for latent scores and to threshold some sparse parameters to improve the ranking performance. We improve the approximation method used in (Gao et al., 2021) for the BLT model and generalize it to the CARE model. Moreover, we validate our theoretical results through large-scale numerical studies and an application to the mutual fund stock holding dataset.

无限维功能空间之间的学习映射已在机器学习的许多学科中取得了经验成功，包括生成建模，功能数据分析，因果推理和多方面的增强学习。在本文中，我们研究了在两个无限维sobolev繁殖内核希尔伯特空间之间学习希尔伯特 - 施密特操作员的统计限制。我们根据Sobolev Hilbert-Schmidt规范建立了信息理论的下限，并表明一种正规化学习了偏见轮廓以下的光谱成分，并且忽略了差异高于方差轮廓的频谱成分可以达到最佳学习率。同时，偏置和方差轮廓之间的光谱成分为我们设计计算可行的机器学习算法的灵活性。基于此观察结果，我们开发了一种多级内核操作员学习算法，该算法在无限维函数空间之间学习线性运算符时是最佳的。

目的：目的是将先前验证的深度学习算法应用于新的甲状腺结节超声图像数据集，并将其性能与放射科医生进行比较。方法：先前的研究提出了一种能够检测甲状腺结节，然后使用两个超声图像进行恶性分类的算法。从1278个结节训练了多任务深度卷积神经网络，最初用99个单独的结节进行了测试。结果与放射科医生相当。与培训案例相比，使用来自不同制造商和产品类型的超声计算机成像的378个结节进一步测试了该算法。要求四名经验丰富的放射科医生评估结节，以与深度学习进行比较。结果：用参数，二维估计计算了深度学习算法和四个放射科医生的曲线（AUC）面积。对于深度学习算法，AUC为0.70（95％CI：0.64-0.75）。放射科医生的AUC为0.66（95％CI：0.61-0.71），0.67（95％CI：0.62-0.73），0.68（95％CI：0.63-0.73）和0.66（95％CI：95％CI：0.61-0.71）。结论：在新的测试数据集中，深度学习算法与所有四个放射科医生都达到了类似的性能。

超声诊断甲状腺结节的机器学习（ML）是一个活跃的研究领域。但是，ML工具需要大型，标签良好的数据集，其策划是耗时的和劳动密集型的。我们研究的目的是开发和测试一种基于学习的工具，以促进和自动化甲状腺结节的数据注释过程；我们命名了我们的工具Multistep自动数据标记过程（MADLAP）。 Madlap旨在获取多个输入，包括病理学报告，超声图像和放射学报告。使用多个阶梯模块，包括基于规则的自然语言处理，基于深度学习的成像分割和光学特征识别，MADLAP自动识别了特定甲状腺结节的图像，并正确分配了病理标签。该模型是使用我们卫生系统中的378名患者组成的训练组开发的，并在另一组93例患者中进行了测试。两组的地面真相是由经验丰富的放射科医生选择的。使用测试集测量的性能指标，包括产量（模型产生的标记图像数量）和精度（正确的百分比）。 Madlap的产量为63％，精度为83％。随着输入数据穿过每个模块的移动，产量逐渐增加，同时精确度达到了峰值。错误分析表明，来自某些检查地点的输入的精度（40％）低于其他站点（90％，100％）。 Madlap成功地创建了甲状腺结节标记的超声图像的策划数据集。虽然准确，但在试图自动从异质来源标记放射学图像时，Madlap的相对次优率暴露了一些挑战。图像策划和注释的复杂任务可以自动化，从而使较大的数据集丰富用于机器学习开发。

膝关节X射线上的膝盖骨关节炎（KOA）的评估是使用总膝关节置换术的中心标准。但是，该评估遭受了不精确的标准，并且读取器间的可变性非常高。对KOA严重性的算法，自动评估可以通过提高其使用的适当性来改善膝盖替代程序的总体结果。我们提出了一种基于深度学习的新型五步算法，以自动从X光片后验（PA）视图对KOA进行评级：（1）图像预处理（2）使用Yolo V3-tiny模型，图像在图像中定位膝关节， （3）使用基于卷积神经网络的分类器对骨关节炎的严重程度进行初步评估，（4）关节分割和关节空间狭窄（JSN）的计算（JSN）和（5），JSN和最初的结合评估确定最终的凯尔格伦法律（KL）得分。此外，通过显示用于进行评估的分割面具，我们的算法与典型的“黑匣子”深度学习分类器相比表现出更高的透明度。我们使用我们机构的两个公共数据集和一个数据集进行了全面的评估，并表明我们的算法达到了最先进的性能。此外，我们还从机构中的多个放射科医生那里收集了评分，并表明我们的算法在放射科医生级别进行。该软件已在https://github.com/maciejmazurowowski/osteoarthitis-classification上公开提供。

重新安排任务已被确定为智能机器人操纵的关键挑战，但是很少有方法可以精确构造看不见的结构。我们为挑选重排操作提供了视觉远见模型，该模型能够有效地学习。此外，我们开发了一个多模式的动作提案模块，该模块建立在目标条件转运者网络上，这是一种最新的模仿学习方法。我们基于图像的任务计划方法，具有视觉前瞻性的转运蛋白，只能从少数数据中学习，并以零拍的方式推广到多个看不见的任务。 TVF能够提高对模拟和真实机器人实验中看不见的任务的最先进模仿学习方法的性能。特别是，在模拟实验中，看不见的任务的平均成功率从55.4％提高到78.5％，而在实际机器人实验中，只有数十次专家示范。视频和代码可在我们的项目网站上找到：https：//chirikjianlab.github.io/tvf/

黎曼优化中加速梯度方法的研究最近见证了显着的进展。然而，与欧几里德的环境相比，利莫曼环境仍然缺乏对加速的系统理解。我们重新审视\ citet {monteiro2013accelerated}的\ citet {monteiro2013accelerated}的\ citeterated {monteiro2013accelerated}，这是一个强大的框架，用于获得加速的欧几里德方法。随后，我们提出了一个Riemannian版的A-HPE。我们对Riemannian A-HPE分析的基础是欧几里德A-HPE的一系列洞察力，我们将仔细控制Riemannian几何形状引起的扭曲。我们描述了许多riemannian加速梯度方法作为我们框架的具体实例。

In this paper, we propose a robust 3D detector, named Cross Modal Transformer (CMT), for end-to-end 3D multi-modal detection. Without explicit view transformation, CMT takes the image and point clouds tokens as inputs and directly outputs accurate 3D bounding boxes. The spatial alignment of multi-modal tokens is performed implicitly, by encoding the 3D points into multi-modal features. The core design of CMT is quite simple while its performance is impressive. CMT obtains 73.0% NDS on nuScenes benchmark. Moreover, CMT has a strong robustness even if the LiDAR is missing. Code will be released at https://github.com/junjie18/CMT.